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Методология организации тестирования на основе алгоритмов планирования и 
обработки двухуровневых многофакторных экспериментов” 


Р. А. Нейдорф, Е. Н. Обухова 


Исследуется декомпозиция знаний на множество «микрознаний», допускающих однозначную двоичную те- 
стовую оценку. В таком случае задание теста формулируется как набор микрознаний ответов, совокупно 
раскрывающих уровень знания определённог О подраздела. Это позволяет представить разработку набора 
ответов на тестовый вопрос как задачу исследования мног офакт Орной зависимости. Таким образом, процесс 
разработки набора ответов можно рассматривать с ПОЗИЦИЙ планирования мног офакторног О двухуровневого 
эксперимента. При таком подходе создание теста и оценка его результатов хорошо формализуются и стано- 
вятся доступны преподавателям, не специализирующимся на разработках тестовых заданий. Методика про- 
иллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автомати- 
ческого управления. Статистическая обработка результатов тестирования показала уровень знаний испыту- 
емых, а также степень доверия тестирующего к осознанности ответа. 
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Введение. Несмотря на определённые достижения в развитии тестирования, разработка методи- 
ки составления тестовых материалов является на данном этапе сложной междисциплинарной 
проблемой [1]. Трудность внедрения тестовых методик в практику работы образовательных 
учреждений объясняется, в первую очередь, отсутствием у педагогов достаточной профессио- 
нальной подготовки в составлении и применении тестовых заданий. Не всегда у педагогов есть 
возможность освоить эти технологии. В связи с этим весьма актуальной становится задача фор- 
мализации построения тестовых заданий, позволяющих сохранить высокую оценочную способ- 
ность тестов. При этом важно, чтобы самостоятельно разрабатывать тесты могли преподаватели, 
не обладающие высокой квалификацией в данной области [2, 3]. 
Постановка задачи. Одной из характеристик тестового задания является количество допусти- 
мых ответов из множества предложенных. Если возможен один ответ на вопрос, тестируемый 
имеет оценку, выраженную долей полного знания. При этом повышается вероятность угадывания 
правильного ответа, вследствие чего невозможно достоверно оценить результаты тестирования. 
Таким образом, для эффективной оценки подготовки по изучаемой дисциплине испытуе- 
мому с неуверенными знаниями необходимо дать возможность выбора нескольких вариантов от- 
ветов, кажущихся ему близкими к правильному. При этом не исключается возможность выбора 
одного ответа. В этом случае оценка знания формируется как выборочная совокупная из оценок 
содержательности указанных тестируемым ответов. Такой подход даёт возможность оценить сте- 
пень случайности выбора ответов, которая характеризует неуверенность знаний тестируемого. 
Это обусловлено тем, что возникает возможность оценить близость по содержанию выбранных 
ответов. Слишком разнородные по оценкам ответы будут указывать на неуверенность знаний, а 
однородные — на близость испытуемого к истинным знаниям. 
Сущность предлагаемого метода решения проблемы. Процесс разработки тестового во- 
проса рассматривается как построение строки, включающей п символьных переменных, обозна- 
чающих различные микрознания [4, 5]. По введённой ранее парадигме, каждому микрознанию 





* Работа выполнена по теме № 2.3.13 «Метод сбалансированной дискретизации для задач имитационного моделирования 
динамических процессов в распределённых объектах» в рамках выполнения госзадания Минобрнауки России в части НИР. 
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может быть сопоставлено два варианта ответов: правильный — \е5 и неправильный — №. Тогда 
возможный набор вариантов ответов на тестовый вопрос становится аналогичным матрице пла- 
нирования многофакторного двухуровневого эксперимента, если положительный ответ — \е5 за- 
менить на +1, а отрицательный ответ — № на -1 (табл. 1). 


























Таблица 1 
Кодовые строки-ответы и их оценки для п-факторного теста 
№ строки Хх Хх) не в у 

ы я" М - ы = п(1) 

2. —1 (0) 1 м 1 п-1 (0,...) 

р , [П-/ 

р Хин * 2 хр Хх т п-! р 

п —1 (0) —1 (0) и —1 (0) 0 (0) 























Таким образом, варьируя ответы на микрознания на двух уровнях, можно получить набор 
строк-ответов на полный вопрос теста, реализующий все их возможные сочетания по аналогии с 
полным факторным экспериментом. Если количество микрознаний л выбрано, то можно найти 
количество различных полных ответов по формуле [6]: 

№=2, (1) 
где № — число опытов, К — число факторов, 2 — число уровней. 

При оценке знаний тестируемого удобнее неправильный ответ оценивать нулём (нулевое 
знание), поэтому в таблице значение -1 удобно заменить на нули (указаны в скобках). Таким 
образом, из микрознаний как из факторов составляется вопрос-строка, а множество ответов на 
неё представляется как набор строк, составленных из элементов-ответов, принимающих значения 
0 или 1. Варьирование ответов на этих двух уровнях позволяет реализовать полное множество 
строк-ответов возможных сочетаний элементов-ответов [7]. В связи с этим для микрознаний 
удобно, используя терминологию планирования эксперимента, применять термин «фактор 
знания». 

Оценку у, (обозначение у взято по аналогии с символом отклика в плане факторного 


эксперимента [6, 7]) для каждой строки возможного ответа на тестовый вопрос можно вычислять 
двумя способами. Первый — как абсолютную сумму оценок элементов-ответов по микрознаниям. 
Второй — как взвешенную относительно количества факторов сумму (указана в скобках), т. е. 
абсолютную сумму, делённую на количество элементов. Поэтому в более общем варианте оценки 
ответа взвешенной суммой по формуле 


>. х, 


У; = =: (2) 
т 


полностью правильный ответ на вопрос теста будет оценён как «1», полностью неправильный — 
«0», а частично правильный — дробным числом 0 < у, <1. 





Факторный подход к построению теста помогает доступно и однозначно формализовать 
процедуру построения теста и оценки его результатов. Однако с ростом числа составляющих во- 
прос факторов знаний число вариантов ответов растёт согласно (1) в показательной зависимости. 
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Это ограничивает объём вопроса по составу включённых факторов знаний (следует избегать по- 
строения излишне громоздкого теста, запутывающего испытуемого). 

Рассмотренные условия формирования ответов на вопросы теста, содержащие п факторов 
знания, можно записать в виде матрицы планирования многофакторного эксперимента, где 
строки соответствуют различным вариантам ответов, а столбцы — значениям факторов знаний 
[6-8]. Если вопросы в тесте отображают заложенные в них микрознания, то построенная таким 
образом матрица является универсальным инструментом построения вариантов ответов на весь 
тест в целом. 

Необходимо заметить, что перечень подобного рода вопросов организован регулярным 
образом. Поэтому испытуемый, многократно проходивший тест, может понять закономерность 
порядка вопросов. Для устранения этого недостатка следует использовать другой приём метода 
планирования эксперимента — рандомизацию, т. е. перестановку в произвольном порядке строк 
табл. 1 — ответов теста [6, 7]. Тогда последовательность строк при повторных тестированиях бу- 
дет отличаться от расположения строк в табл. 1. Например, / = 7, 4, 9, 2, 5, 1, 6... Этот стандарт- 
ный приём теории планирования экспериментов позволяет уменьшить влияние на результаты 
опытов временного тренда, а в практике построения факторных тестов он даёт возможность сни- 
зить влияние адаптируемости испытуемых к тестам с регулярной структурой. 

Кроме того, используя рандомизацию, можно увеличить количество комбинаторных вари- 
антов последовательностей одинаковых ответов на один и тот же тестовый вопрос. В результате 
для небольшого набора ответов можно использовать полный комбинаторный набор вариантов 
ответов на каждый вопрос. Тогда количество одинаковых по содержанию, но различных по струк- 
туре вариантов тестовых ответов будет определяться по формуле вычисления количества пере- 
становок (Р) из пл поп — Р”=п!. В этом случае рандомизацию можно использовать для органи- 


зации случайной последовательности вариантов при запросе очередного теста. 

Для п = 4 количество комбинаций из набора одинаковых ответов составит 24, однако для 
п = 8 — уже 40320. Таким образом, для л > 5 целесообразно всё-таки прибегать к рандомизации 
факторной таблицы. 
Примеры применения факторного подхода к составлению тестов. 
Пример составления двухфакторного тестового задания. По передаточной функции типо- 
вого динамического звена И/ ( р) = 6,8 / р найти значения вещественной и мнимой составляющих 


частотной передаточной функции. 

Данное тестовое задание базируется на знании освоенных ранее разделов дисциплины. 
Необходимо знать следующее. 

1. Способ перевода передаточной функции из операторной в частотную форму представ- 
ления. Для этого производится замена р = ]®. 


2. Способ приведения дробно-рациональной функции комплексной переменной к стан- 
дартной форме записи. Для этого числитель и знаменатель умножаются на функцию, сопряжён- 
ную знаменателю. В числителе выделяются вещественная и мнимая части, и они почленно делят- 
ся на ставший вещественным знаменатель. 

При этом условии в приведённом выше вопросе можно выделить два фактора знания. 

1. Нахождение вещественной составляющей полученной частотной передаточной функции 
(ЧПФ) путём освобождения от мнимой составляющей в знаменателе и деления вещественной ча- 
сти числителя на вещественный знаменатель. 

2. Нахождение мнимой составляющей той же ЧПФ делением мнимой части числителя на 
вещественный знаменатель. 

Выделенным факторам знаний сопоставляются правильные ответы: 
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— вещественная составляющая ЧПФ — Ве{И/ (7%)} = Ве [2 в = ве | 0:57 :6, 8-7" =0; 


6,8 
© 





— мнимая составляющая ЧПФ — ит И/ (762) т 7: =-6,8.". 


Неправильные ответы формируются с учётом характерных ошибок, допускаемых студен- 
тами по данному материалу. Важно также придерживаться принципа правдоподобия, когда в от- 
вете присутствуют структуры и константы, связь которых с содержанием вопроса хорошо про- 
сматривается, например: 


— вещественная составляющая ЧПФ — Ве {и (2%) =68; 
— мнимая составляющая ЧПФ — тт И/ (2%) =@'. 


Комбинируя факторы знания — правильные и неправильные ответы, можно составить все 
возможные строки ответов тестового задания, представленные ниже. 


1. Вещественная составляющая: Ве {и (2%)} =0; мнимая составляющая: [т [и (2%) =- 68%". 
2. Вещественная составляющая: Ве {и (2%) =68,; мнимая составляющая: [т и! (50)} = 


=- 68/0". 


3. Вещественная составляющая: Ве {и (2%)} =0; мнимая составляющая: Тт [и (2%) =- 68] '. 
4. Вещественная составляющая: Ке {и (2%) =68,; мнимая составляющая: т и! (20)} = 


=-68 м". 

В этих строках содержится абсолютно правильный ответ на вопрос, содержащий два вер- 
ных ответа по факторам знаний и абсолютно неправильный ответ, содержащий два неверных от- 
вета и два полуправильных ответа, содержащие один верный и один неверный ответы по факто- 
рам знаний. Если варианты правильных ответов по факторам знаний обозначить +1, а непра- 
вильный — —1, то сведённые в таблицу варианты ответов образуют структуру, аналогичную мат- 
рице планирования полного факторного эксперимента (табл. 2). 

















Таблица 2 
Таблица кодовых строк-ответов и их оценок для двухфакторного теста 
№ строки х, х, У, 
1. 1 1 1 
2. —1 (0) —1 (0) 0 
3. 1 —1 (0) 0,5 
4 —1 (0) 1 0,5 




















Имея ввиду, что отрицательного знания быть не может, а минимально возможное знание 
может быть нулевым, естественно сместить весовые оценки отрицательных ответов к нулевому 
значению (в таблице — в скобках). Тогда каждой строке ответов можно сопоставить коэффициент, 
определяемый, например, как среднее от совокупности ответов (обозначенный в табл. 2 как у). 

Возможны и другие способы количественной оценки результата такого тестирования, но 
здесь выбран наиболее простой, естественный и понятный. 

Аналогичным образом можно подойти к составлению трёхфакторного тестового задания, 
которое будет содержать строку с тремя факторами знаний [4, 5, 8]. 
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Пример составления полного трёхфакторного тестового задания. По передаточной функ- 
ции апериодического звена И/ (р) =1/(5р +1) найти значения модуля и фазы частотной переда- 


точной функции, а также представить её в показательной форме. 

В данном тестовом задании присутствуют три фактора знания. 

1. Умение аналитически находить амплитудно-частотную характеристику. Для этого выде- 
ляются вещественная и мнимая составляющие ЧПФ. Затем они вводятся в формулу, определяю- 


щую модуль ЧПФ А() = И/ (26| = УВе?+1т? . 

2. Умение аналитически находить фазочастотную характеристику. Для этого выделяются 
вещественная и мнимая составляющие ЧПФ. Затем они вводятся в формулу, определяющую ар- 
гумент ЧПФ ф(&) = агдИ/ (70) = ага (1т/ Ве). 

3. Умение представить частотную передаточную функцию в показательной форме с ис- 
пользованием рассчитанных значений модуля и аргумента ЧПФ по формуле И/ ( 1) = А(&). е/^®@®). 

Соответственно факторам знаний сопоставляются правильные ответы: 

— амплитудно-частотная характеристика ЧПФ — А(о )=/\М +250? ; 


— фазочастотная характеристика ЧПФ — ф(‹) = о ; 


— показательная форма ЧПФ — И/ (7%) = = (УЛ +25’ }-е е-/='995° , 


Аналогично приведённому выше двухфакторному тестовому заданию составляются непра- 
вильные ответы — также на основе распространённых неправильных ответов и по принципу 
правдоподобия: 


— амплитудно-частотная характеристика ЧПФ А(о )=1/( 1+50° р 


— фазочастотная характеристика ЧПФ ф(®) = —_ 
— показательная форма ЧПФ И/ ( 1%) = (5% (1+507 } .е/чое 


Комбинируя между собой верные и неверные ответы по факторам знания всеми возмож- 
ными способами, получаем полный трёхфакторный тест, состоящий из 8 строк ответов. 


1) АЧХ — А(®)=1/ +257; ФЧХ — Ф(0) =-агс9 (5%); показательная форма — 
И! (1%) = (УЛ +257 | ое: 

2) АЧХ — А (6) =1/(1+ 5%); ФЧХ — ф (6) = агсю (5%); показательная форма — 
И! (762) = (56/1 + 5%) - е^*°9°. 

3) АЧХ — А(®) )=1/ +25 ; ФЧХ — ф (6) = агсю (5%); показательная форма — 
и/ (22) = (/\А +257). 27799: 

4) АЧХ — А(о )=1/(1 +57); ФЧХ — $(и) = -агс9 (5%); показательная форма — 
И! (1%) = (УЛ +257 | а. 

5) АЧХ — А(&)=/Л 25%; ФЧХ — ф(®) =-агс9 (5%); показательная форма — 
И! (7%) = (5/(1 +50? )) са" 
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6) АЧХ — А (6) =1/(1+ 5%); ФЧХ — ф (0) = агсю (5%); показательная форма — 
И! (1%) = (УЛ +257 | га, 

7) АЧХ — А(о) =/(1+ 5%); ФЧХ — (и) = -агс9 (5%); показательная форма — 
И! (7%) = (5/(1 +56? )) 219%. 

8) АЧХ — А(®) = 1/25; ФЧХ — ф (6) = агсю (5%); показательная форма — 
И! (762) = (56/1 + 5% ))- е^*°9°. 


Аналогично предыдущему примеру на вопрос по каждому фактору знания можно дать 
правильный и неправильный ответы. Поэтому варьирование ответов по трём факторам знания на 
двух уровнях также позволяет применить матрицу планирования полного факторного экспери- 
мента для полного трёхфакторного теста, представленную в табл. 3. 





























Таблица 3 
Таблица кодовых строк-ответов и их оценок для 3-факторного теста 
№ строки Хх, х, Х, У, 
1. 1 1 1 1 
2. —1 (0) —1 (0) —1 (0) 0 
3. 1 —1 (0) 1 0,67 
4. —1 (0) 1 1 0,67 
5. 1 1 —1 (0) 0,67 
6. —1 (0) —1 (0) 1 0,33 
7. —1 (0) 1 —1 (0) 0,33 
8. 1 —1 (0) —1 (0) 0,33 























Таким образом, методика составления тестов на основе планирования факторного экспе- 
римента позволяет конструировать трёхфакторные тестовые задания, содержащие 8 строк отве- 
тов. Необходимо отметить важное преимущество таких тестов: увеличение количества факторов 
знаний приводит к общему увеличению числа ответов — и вероятность угадывания правильного 
ответа уменьшается. Тест получается более содержательным в смысле градации уровня знаний 
тестируемого, так как включает уже две дробные оценки знаний, соответствующие двум правиль- 
ным ответам из трёх (0,67) и одному правильному ответу (0,33). В таком случае при пороге зна- 
ния 0,6 ответивший на два вопроса получит зачёт по тесту, т. е. вероятность сдачи зачёта (про- 
хождения теста) составляет 0,5. В двухфакторных тестах такая вероятность составляет 0,25. 

Однако трёхфакторные тесты имеют и недостатки. Они получаются достаточно громозд- 
кими. Это увеличивает время на ответ, и тестируемый испытывает повышенную психологическую 
нагрузку. Соответственно, растёт вероятность случайной ошибки, ведь внимание рассредоточено 
на восемь строк ответов. 

В связи с этим для упрощения процедуры тестирования был предложен подход [6], при 
котором каждое полное трёхфакторное тестовое задание декомпозируется на усечённые трёх- 
факторные тестовые задания (аналог дробных реплик в теории планирования экспериментов). 
Сущность такого подхода кратко освещена ниже. 

Разбиение полного трёхфакторного теста на усечённые дробные реплики. Принцип 
формирования усечённого дробного тестового задания заключается в том, что необходимо соста- 
вить дробную реплику из четырёх вариантов ответов [6]. При этом реплика обязательно должна 
содержать правильный и неправильный ответы, т. к. категорически нельзя лишать тестируемого 
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возможности продемонстрировать полное знание вопроса или его отсутствие. В связи с этим 
строки ответов, имеющие различные оценки по сумме факторов знаний, комбинируются друг с 
другом таким образом, что в каждом усечённом тестовом задании присутствуют строки ответов с 
оценками 0,33 и 0,67. Такой принцип также кажется обязательным, поскольку наличие двух не- 
полных ответов с оценками 0,67 повышает вероятность завышения оценки за счёт угадывания, а 
наличие двух неполных ответов с оценками 0,33 гарантированно и, возможно, неоправданно за- 
нижает оценку выбирающего второй ответ в дополнение к правильному. Иными словами, необхо- 
димо чтобы в тесте содержался весь спектр ответов. Так, в усечённом тестовом задании, приве- 
дённом ниже, помимо абсолютно правильной и неправильной строки ответа имеются строки с 
оценками, составляющими 0,33 и 0,67 балла, которые соответствуют срокам № 5 и № 7 в полном 
трёхфакторном тестовом задании. 

Пример составления усечённого трёхфакторного тестового задания. По передаточной 


функции апериодического звена И/ (р) =1/(5р +1) найти значения модуля и фазы комплексной 
передаточной функции и представить её в показательной форме. 
1) АЧХ — А(&)=1/Л +25; ФЧХ — Ф(0) =-агс9 (5%); показательная форма — 


и/ (2) = (У +257 ). в“. 

2) АЧХ — А (6) =1/(1+ 5%); ФЧХ — ф (6) = агсю (5%); показательная форма — 
И! (762) = (56/1 + 5% ))- е^*°9°. 

3) АЧХ — А(&)=/Л 25%; ФЧХ — Ф(0) = -агс9 (5%); показательная форма — 
И! (762) = (56/1 + 5%) - е^*°9°. 

4) АЧХ — А(о) =1/(1+ 5%); ФЧХ — Ф(0) = -агс9 (5%); показательная форма — 
И! (762) = (56/1 + 5%) - е^*°9°. 


Строки ответов сводятся в табл. 4, где правильные ответы на факторы знания х,, х, и 

















х, кодируются +1, а неправильные — -1. Каждая строка ответов имеет определённый весовой 
коэффициент, обозначенный у,. 
Таблица 4 
Таблица кодовых строк-ответов и их оценок для усечённого 3-факторного теста 
№ строки Хх, х, Х, у, 
1. 1 1 1 1 
р. —1 (0) —1 (0) —1 (0) 0 
3. 1 1 —1 (0) 0,67 
4 —1 (0) р —1 (0) 0,33 























При повторном использовании данного тестового задания строки табл. 5 в результате 
рандомизации с большой вероятностью будут расположены в последовательности, отличной от 
табл. 4 согласно вышеизложенной теории. 

Примеры использования факторного тестирования. По составленным двухфакторным за- 
даниям были проведены тестирования в группах, изучающих дисциплину «Теория автоматическо- 
го управления». Перед испытуемыми ставилась задача выбора правильной строки ответов. Не- 
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уверенные в собственных знаниях учащиеся могли выбрать два наиболее правильных, на их 
взгляд, ответа. По результатам тестирования рассчитывались: 

— оценки (в среднем) знаний, продемонстрированных учащимися; 

— степень доверия тестирующего к знаниям учащихся, с учётом их неуверенности. 

















Таблица 5 
Рандомизированная таблица 3-факторного теста 
№ строки х, Хх, Хз У; 
3: 1 1 —1 (0) 0,67 
1. 1 1 1 1 
4. —1 (0) 1 —1 (0) 0,33 
р —1 (0) —1 (0) —1 (0) 0 























Пример двухфакторного тестирования. В табл. 6 приведён результат тестирования с исполь- 
зованием двухфакторных тестовых заданий. Статистическая обработка тестовой выборки произ- 
водилась в соответствии с известным математическим аппаратом, используемым для обработки 
результатов экспериментов [9]. В различных формах статистическую обработку используют при 
сдаче единых экзаменов в России [1] и за рубежом [2, 3]. 



















































































Таблица 6 
Результаты тестирования и расчёт средних оценок знаний 
Номер тестируемого (7) 

1 2 3 4 5 6 7 8 9 10 11 
- 1 0,5 | 0,5 1 1 0 0,5 0,5 1 0 1 
@ 
= 
ы у, 1 1 0,5 
Я Балл1 1 10,75 | 0,75 1 0,75 0 0,5 0,5 1 0 1 
ь Дисп.1 | — 10,125] 0,125] — | 0,125 — — — — — 
= |СКО1 0 [0,35 | 0,35 | 0 0,35 0 0 0 0 0 
у 1 0,5 1 1 1 1 0,5 0 0,5 0,5 1 
з 
5 у 0,5 
Я |Балл2 1 0,5 1 1 1 1 0,5 0 0,5 0,5 1 
ь Дисп. 2 — 0 — | — — — — — — — — 
= |СКО2 — 0 0 0 0 0 0 0 0 0 
й У, 1 0,5 1 0,5 0 1 0,5 0 0,5 0,5 1 
= 
5 И: 1 0 0 
# |Балл3З 1 0,5 1 0,5 0,5 1 0,25 0 0,25 0,5 1 
Е |Дисп. 3 — — — — 0,5 — 0,125 — — — 
 |СКОЗ 0 0 0 0 0,7 0 0,35 0 0,35 0 0 
ИИ 1 0 1 1 0,5 1 1 0 0,5 0 0,5 
з 
5 у, 0,5 0,5 
® |Балл7 1 0 1 1 0,5 1 0,75 0,25 0,5 0 0,5 
Е |Дисп. 7 — — — — — — 0,125 — — — 
к [|СКО7 0 0 0 0 0 0 0,35 0,35 0 0 0 
Сред. оценка | 0,92 | 0,46 | 0,96 | 0,85 | 0,82 0,78 0,57 0,25 0,39 0,35 0,78 
Дисп. по тесту | — |0,01710,017| — 0,089 — 0,035 0,017 0,017 — — 
СКО по тесту 0 [0,13 | 0,13 | 0 0,29 0 0,18 0,13 0,13 0 0 
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В табл. 6 введены следующие обозначения: у; — оценка выбранной строки ответа; балл — 
среднее значение оценок выбранных тестируемым строк ответов; дисп. — дисперсия по тестово- 
му заданию; СКО — среднее квадратическое отклонение от оценки по тестовому заданию; сред. 
оценка — средняя суммарная оценка за тест. 

По результатам двухфакторного тестирования были построены столбчатые гистограммы, 
представленные на рис. 
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Рис. Иллюстрация оценок знаний и степени их неуверенности, полученных 
с использованием двухфакторных тестовых заданий 


Столбчатые диаграммы построены по полученным усреднённым оценкам тестируемых по 
всему тесту. От средней оценки, полученной за тест, вверх и вниз отложено значение средне- 
квадратического отклонения. Сформированный диапазон указывает на область возможных значе- 
ний оценки знаний и характеризует неуверенность ответа тестируемого студента. Так, например, 
у испытуемых, выбравших в качестве ответов по одной строке в каждом тестовом задании, дис- 
персия и соответствующее ей СКО, показывающее степень неуверенности знаний, равны нулю 
[10]. Это указывает на уверенность частичных знаний как по отдельному тестовому заданию, так 
и по тесту в целом, которую наглядно иллюстрируют столбчатые диаграммы под номерами 1, 4, 6, 
10, 11 (см. рис.). 

По результатам тестируемых, проявивших неуверенность и указавших две строки ответов, 

построены столбчатые гистограммы под номерами 2, 3, 5, 7, 8, 9. В данном случае неуверенность 
знаний характеризует значение дисперсии или её среднеквадратического отклонения от ожидае- 
мой усреднённой оценки. Из построенных столбчатых диаграмм видна обратная зависимость ста- 
тистических характеристик и степени доверия, т. е. чем больше среднеквадратическое отклоне- 
ние от усреднённой оценки знаний по тесту, тем меньше доверия к таким знаниям. 
Выводы. Рассмотренные примеры демонстрируют хороший уровень формализации и удобство 
составления тестов на основе методики многофакторного планирования двухуровневых экспери- 
ментов. Кроме того, хорошо формализуется оценка результатов теста, что повышает его объек- 
тивность. 

Важным нововведением является допущение своеобразной «нечёткости» ответа на вопрос 
теста. Его следствие — двухпараметрическая оценка результата теста: оценка неполного знания 
и степени уверенности этого знания. 

Результаты тестирований с использованием двухфакторных и трёхфакторных заданий 
подтвердили положительную роль факторности теста, помогающей ранжировать испытуемых с 
неуверенными знаниями. 
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ТЕЗТТМС ОЕЗТСМ МЕТНОРОГОСУ ВАЗЕО ОМ ТМ!О-ЕЕ\МЕЕ МУЕТТЕАСТОК ЕХРЕКТМЕМТ 
РЕАММТМС АМО ОАТА РВОСЕ$$ТМС^ 


В. А. Меудо!Е, Е. М. ОБиКПома 


Тре десотроз!#оп оЁ кпоитеаде п ап аггау о! “тисго-Ккпоиеаде” регтййптд а зто/е-уа/иеа Бтпагу е$Е 5соге 15 
5иеа. 1п 5 сазе, {те ЕезЁ (азК 5 Юптиее4 аз а $ЕеЁ о! тисго-Кпоилеаде гезроп5ез ротНу геуеа!тда {те 
Кпои|еаде [еуе! оЕ {те зресйс зиБзесйоп. [2 а!ои/5 ргезепипд те аеуеортепе о! а 5еЁ оЁ гезроп5ез {0 а 5 
диезйоп аз те оБуесНнуе оЁ туезйдайта те тийЙасюг аерепсепсе. Трвиз, те аеуеортепеЕ ргосез$ ОГ а 5ЕЁ оЁ 
гезроп5ез сап Бе сопудегей от 1е регзреснуие оЁ рапптд а тиасог Еио-1еуе/ ехрейтепЕ ТР арргоасв 
а/ои/з а доо4 огта!гайоп оЁ {те е5Е сопзёгисНоп, апа 5 гезий езйтайоп ирисй Бесотез ауайа Ш №0 {Пе Ёеасй- 
ег5 ипо ао поЁ зресайте п {те езЕ {азК деуеортепЕ. Тре теоа 1/5 Шизёгеа Бу ап ехатрие о! {Пе (еЁ соп- 
$гисйоп, апа аррйсайоп Ю а55ез$ ше кКпоитеаде [еуе! оп {пе ашютайс сопёго! {пеогу. Тре аа $аН58с$ Ваз 
5пои/п {пе гевропаепё5” кпоиГеаде Геуе!/ аз ие! а5 {пе аедгее оЁ а (еег5 БейеЕ ю 1е гезропзе аигагепезс. 
Кеуигога&: Кпоилеаде Гасог5, ехрейтепЕ р!аппта, Нио-еуе/ ти! !асюг ехрейтепё5, Гасюг иапа Шу, р/апптпа 
тайх. 





* Тпе могк 15 допе оп 2.3.13 {Лете “Ва!апсеа 4сгенхавоп те{по4 Гог тазКз ог дупаптс ргосез$ эитшавоп тоаейта т 415- 
це обес” мт {Не гате ог {Пе Миху ог ЕдисаНоп апа 5аепсе ог {Пе Кизчап РедегаНоп {Петаёс гезеагсН р/ап. 
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